Caroline Patenaude
Bibliothèque des lettres et sciences humaines
2021-02-06
Objectifs
Formation 1
Formation 2
Formation 3
“an article about computational result is advertising, not scholarship. The actual scholarship is the full software environment, code and data, that produced the result.” Claerbout cité par in Buckheit and Donoho, 1995
Principe à la base de la reproductibilité est que l’unité traditionnelle de la diffusion scientifique, ie l’article publié, n’est que la pointe de l’iceberg du processus de recherche.
“[…¸] openness alone does not guarantee reproducibility or reusability, so it should not be pursued as a goal in itself. Focusing on data is also not enough: it needs to be accompanied by software, workflows and explanations, all of which need to be captured throughout the usual iterative and closed research lifecycle, ready for a timely open release with the results.”
– Pas capable de l’ouvrir!
– Comprend rien!
– Marche pas!
En résumé (Barba, 2018):
Reproducible: Authors provide all the necessary data and the computer codes to run the analysis again, re-creating the results.
Replication: A study that arrives at the same scientific findings as another study, collecting new data (possibly with different methods) and completing new analyses.
Bref, une recherche est reproductible si tout le matériel (documentation, analyses, données, code) est rendu disponible de façon à ce qu’un chercheur indépendant soit en mesure de reproduire les résultats originaux.
Voir The Turing Way
Petit historique:
“Our basic goal is reproductible research. The electronic document is our means to this end”.
“reproducibility of experiments in seismic exploration requires having the complete software environment available in other laboratories and the full source code available for inspection, modification, and application under varied parameter settings.”
“The replication of important findings by multiple independent investigators is fundamental to the accumulation of scientific evidence. Researchers in the biologic and physical sciences expect results to be replicated by independent data, analytical methods, laboratories, and instruments.”
MAIS, toutes les recherches ne sont pas “réplicables”…
“An attainable minimum standard is “reproducibility,” which calls for data sets and software to be made available for verifying published findings and conducting alternative analyses."
Certains vont plus loin en distinguant différents types de reproductibilité: empirique, méthodologique, statistique, informatique, … Stodden, 2018
La reproductibilité des résutats n’est pas synonyme de validité, mais de transparence. Les “mauvaises analyses” peuvent aussi être reproductibles!
Nombreux débats depuis des décennies sur la reconnaissance de la “subjectivité”, la spécificité épistémologique des sciences humaines, le dualisme méthodologique entre recherche qualitative et quantitative, …
La “rigueur scientifique” ne peut reposer que sur le seul critère de reproductibilité puisqu’on ne peut de reproduire les conditions exactes d’une recherche qualitative.
“Si vous me laissez mener une analyse qualitative exactement comme je l’entends, je ne vais pas du tout me pencher sur le pourcentage de telle ou telle réponse, car cela ne m’intéresse pas. […] Ne me demandez pas ensuite si cela est reproductible. Ça ne l’est pas et ce n’est d’ailleurs pas du tout le but. Je ne mène pas des enquêtes pour qu’elles soient établies comme vérité après que deux ou trois autres enquêtes auront reproduit la mienne et seront arrivées aux mêmes résultats.” (Paillé, 2019 )
Permet le développement de meilleures méthodes de travail comme une meilleure organisation de ses fichiers et une meilleure documentation de ses analyses.
Encourage l’apprentissage d’outils qui facilitent la révision, les corrections, les ajouts de nouvelles données et ce sans avoir à recommencer le travail.
Évite la duplication pour se concentrer sur la création de nouveaux savoirs.
Facilite la collaboration menant à de nouveaux développements (nouveaux collègues, assistants de recherche, …)
Facilite l’aller-retour entre les différentes étapes du processus de recherche : collecte de données, analyses, présentation des résultats = processus itératif.
Les résultats de recherche reproductibles sont plus utiles donc plus utilisés ce qui assure au chercheur un plus grand impact scientifique.
Ultimement, incite à un travail de plus grande qualité. Même lorsque les données ne peuvent être partagées, la reproductibilité assure une meilleure documentation du processus de collecte et d’analyse.
De quoi aurait besoin un collègue qui voudrait reproduire mes résultats sans mon aide?
Il faut penser à long terme dès le départ.
Les chercheurs ne se mettent souvent à penser aux exigences de la reproductibilité qu’au moment de publier un article, lorsque l’éditeur demande des révisions ou lorsqu’un autre chercheur demande accès à son matériel.
Entraine beaucoup plus de travail que d’y penser dès le départ.
Tout commence avec un plan de gestion de données de recherche
Structurer en sous dossiers pour bien diviser les différents types de fichiers produits (fichiers de code, graphiques, résultats, données, documentation …).
TOUJOURS séparer les données brutes (fichier sacré! Ne jamais modifier et conserver pour toujours) des outputs (données dérivées/modifiées, générées par analyses…).
Déterminer ce que l’on fait des anciens fichiers (supprimer, archiver?).
Zipper son projet complet avec dates lorsque l’on y a fait des changements majeurs ou à intervalle régulier.
Développer de bonnes pratiques de sauvegarde tout au long du projet (règle du 3, 2, 1).
Définir des procédures de gestion de versions de l’ensemble de ses fichiers
Tout, tout, tout documenter
*La plupart des logiciels ont un grand nombre de dépendances qui peuvent entrainer des conflits si l’installation n’est pas identique. Dans R il est essentiel d’inclure son sessionInfo() mais ne signale pas toutes les dépendances système de plus haut niveau. Il existe des outils plus sophistiqués pour les identifier (gestionnaires de paquets comme Packrat pour R, outils de “conteneurs logiciels” comme Docker…)
Encore ici, on peut expliquer dans le fichier README comment faire rouler son code et dans quel ordre pour reproduire les résultats, mais c’est encore mieux si on automatise le tout.
Tout faire avec un script: de l’importation des données à la présentation des résultats en passant par les manipulations et l’analyse (si ce n’est pas possible, bien documenter les étapes pour reproduire les manipulations et la source des données).
Éviter les étapes manuelles par point and clic et copier-coller (ex: supprimer colonnes, renommer variables, supprimer des observations…). Excel et SPSS simplifient la vie mais pose problème pour la documentation et le stockage des procédures.
S’informer sur les bonnes pratiques de rédaction de scripts (bien commenter/documenter ses scripts, utiliser des chemins relatifs et non absolus, faciliter l’intégration de nouvelles données, indiquer le set.seed pour les simulations).
Automatiser l’exécution de scripts : diviser les scripts selon leurs fonctions et créer un fichier maitre pour coordonner l’exécution et documenter les dépendances de son projet ( Makefile, script shell).
Problems with using Microsoft Excel for Statistical Analysis & Graphics
Treat program as literature to be understandable to human beings
Principe est que le code et la documentation qui l’explique devaient se trouver dans un même document pour en assurer la reproductibilité donc permettre aux autres chercheurs de comprendre les tâches demandées au logiciel.
Utiliser des outils pour transformer son code en rapports reproductibles > documents computationnels (notebooks)
Document reliant les résultats, le code qui les a générés et les commentaires qui expliquent chacune des étapes : La source et le chargement données, les modifications et analyses effectuées et les résultats obtenus > toute la chaine peut ainsi être reproduite.
– De plus en plus d’éditeurs et d’organismes le suggèrent ou même l’obligent.
– Communauté scientifique le demande de plus en plus.
– Recherche de meilleure qualité avec meilleure visibilité.
*Attention car le transfert en format texte peut entrainer des pertes d’information sur les variables. Il est conseillé de créer un dictionnaire de codes pour décrire ses variables (peut être automatisé).
Principes de Tidy Data (Hadley Wickham)
Outil de nettoyage: https://openrefine.org/
Plusieurs outils de programmation peuvent être utilisés pour améliorer la reproductibilité de ses analyses. L’important est de choisir un language qui permet à la fois d’automatiser ET documenter ses analyses.
Baker,Monya, 26 May 2016, 1“,500 scientists lift the lid on reproducibility”, Nature 533, doi:10.1038/533452a
Banks, G.C., Rogelberg, S.G., Woznyj, H.M. et al. Editorial: Evidence on Questionable Research Practices: The Good, the Bad, and the Ugly. J Bus Psychol 31, 323–338 (2016). https://doi.org/10.1007/s10869-016-9456-7
Barba, Lorena A., 2018, “Terminologies for Reproducible Research”, arXiv:1802.03311
Bem, D. J. 2011, “Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect”, Journal of Personality and Social Psychology 100: 407–425. https://psycnet.apa.org/record/2011-01894-001
Brière, L., Mélissa Lieutenant-Gosselin et Florence Piron, 2019, Et si la recherche scientifique ne pouvait pas être neutre?, Éditions science et bien commun.
Buckheit, Jonathan B., David L. Donoho, 1995, WaveLab and Reproducible Research, Stanford University, https://statweb.stanford.edu/~wavelab/Wavelab_850/wavelab.pdf
Button, K. S., et al, 2013, “Power failure: Why small sample size undermines the reliability of neuroscience”. Nature Reviews: Neuroscience 14:365–376. https://www.nature.com/articles/nrn3475#change-history
Chen, X., Dallmeier-Tiessen, S., Dasler, R. et al., 2019, “Open is not enough”. Nature Phys, 15, 113–119, https://doi.org/10.1038/s41567-018-0342-2
Claerbout, Jon, Martin Karrenbach, 1992, Electronic Documents Give Reproducible Research a New Meaning, invited paper at the October 25-29, 1992 meeting of the Society of Exploration Geophysics, http://sep.stanford.edu/oldsep/matt/join/redoc/web/seg92.html
Desquilbet, Loïc , Sabrina Granger, Boris Hejblum, Arnaud Legrand, Pascal Pernot, Nicolas Rougier, 2019, Vers une recherche reproductible. Faire évoluer ses pratiques, https://rr-france.github.io/bookrr/
Donoho,David L., July 2010, “An invitation to reproducible computational research”, Biostatistics, 11, 3, 385–388, https://doi.org/10.1093/biostatistics/kxq028
EconTalk, 20 mars 2017, Andrew Gelman on Social Science, Small Samples, and the Garden of the Forking Paths, https://www.econtalk.org/andrew-gelman-on-social-science-small-samples-and-the-garden-of-the-forking-paths/
FiveThirtyEight, Hack Your Way To Scientific Glory, https://projects.fivethirtyeight.com/p-hacking/
Gelman, A., Eric Loken, 2013, The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf
Gelman, A., Eric Loken, 2014, “The Statistical Crisis in Science”, American Scientist, 102, 6: p.460. https://www.americanscientist.org/article/the-statistical-crisis-in-science
Gupta, Amarnath, 2009, “Data Provenance”, Encyclopedia of Database Systems, Ed.: LING LIU, M. TAMER ÖZSU, https://doi.org/10.1007/978-0-387-39940-9_1305
Ioannidis, John P. A., 2005, “Why Most Published Research Findings Are False”, Plos Medicine, https://doi.org/10.1371/journal.pmed.0020124
King, Gary, 1995, ““Replication, Replication.”" PS: Political Science and Politics, 28, 444-452, https://j.mp/2oSOXJL
Liberman, Mark, 2015, “Replicability vs. reproducibility — or is it the other way around?”, The Language Log, https://languagelog.ldc.upenn.edu/nll/?p=21956
Munafò, M., Nosek, B., Bishop, D. et al., 2017, “A manifesto for reproducible science”, Nat Hum Behav, 1, 0021, https://doi.org/10.1038/s41562-016-0021
Paillé, P. (2019). Trente ans de développement du champ de l’analyse qualitative. Recherches qualitatives, 38 (1), 13–31. https://doi.org/10.7202/1059645ar
Peng, Roger D., July 2009, “Reproducible research and Biostatistics”, Biostatistics, Volume 10, Issue 3, 405–408, https://doi.org/10.1093/biostatistics/kxp014
Peng, Roger D., 2001, “Reproducible Research in Computational Science”, Science, 334, 6060, 1226, https://science.sciencemag.org/content/334/6060/1226
Peng, Roger D., Francesca Dominici, Scott L. Zeger, 1 May 2006, “Reproducible Epidemiologic Research”, American Journal of Epidemiology, 163, 9, 783–789, https://doi.org/10.1093/aje/kwj093
Piwowar HA, Vision TJ. 2013, “Data reuse and the open data citation advantage”. PeerJ, 1 , 175, https://doi.org/10.7717/peerj.175
Scott, Teresa, 2009, Problems with using Microsoft Excel, for Statistical Analysis & Graphics, CRC Research Skills Workshop, Department of Biostatistics, vanderbilt, http://biostat.mc.vanderbilt.edu/wiki/pub/Main/TheresaScott/StatsInExcel.TAScott.slides.pdf
Simmons, Joseph P., Nelson2, Leif D., Simonsohn, Uri, 2011, “False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant”, Psychological Science, 22, 11, p. 1359-1366. https://journals.sagepub.com/doi/full/10.1177/0956797611417632
Somers, James, April 5 2018, “The Scientific Paper Is Obsolete Here’s what’s next”, The Atlantic, https://www.theatlantic.com/science/archive/2018/04/the-scientific-paper-is-obsolete/556676/
Stodden, Victoria, 5 avril, 2018, The Science of Computational Reproducibility, Speaker Lecture, School of Information Sciences University of Illinois at Urbana-Champaign, https://web.stanford.edu/~vcs/talks/UDel-2018-STODDEN.pdf
Rui, Sandrine, “Réflexivité”, Sociologie [En ligne], Les 100 mots de la sociologie, mis en ligne le 01 août 2012, consulté le 30 octobre 2020., http://journals.openedition.org/sociologie/1584
Wicherts JM, Bakker M, Molenaar D, 2011, “Willingness to Share Research Data Is Related to the Strength of the Evidence and the Quality of Reporting of Statistical Results”. PLoS ONE 6(11): e26828. https://doi.org/10.1371/journal.pone.0026828